<html>
 <head>
  <meta charset="utf-8"/>
  <meta content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" name="viewport"/>
  <title>
   YangCan: 昔日因，今日意  | 数螺 | NAUT IDEA
  </title>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap-theme.min.css" rel="stylesheet"/>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap.min.css" rel="stylesheet"/>
  <style type="text/css">
   #xmain img {
                  max-width: 100%;
                  display: block;
                  margin-top: 10px;
                  margin-bottom: 10px;
                }

                #xmain p {
                    line-height:150%;
                    font-size: 16px;
                    margin-top: 20px;
                }

                #xmain h2 {
                    font-size: 24px;
                }

                #xmain h3 {
                    font-size: 20px;
                }

                #xmain h4 {
                    font-size: 18px;
                }


                .header {
	           background-color: #0099ff;
	           color: #ffffff;
	           margin-bottom: 20px;
	        }

	        .header p {
                  margin: 0px;
                  padding: 10px 0;
                  display: inline-block;  
                  vertical-align: middle;
                  font-size: 16px;
               }

               .header a {
                 color: white;
               }

              .header img {
                 height: 25px;
              }
  </style>
  <script src="http://cdn.bootcss.com/jquery/3.0.0/jquery.min.js">
  </script>
  <script src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML" type="text/javascript">
   MathJax.Hub.Config({
          tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]},
          TeX: {equationNumbers: {autoNumber: "AMS"}}
        });
  </script>
  <script src="http://nautstatic-10007657.file.myqcloud.com/static/css/readability.min.js" type="text/javascript">
  </script>
  <script type="text/javascript">
   $(document).ready(function() {
                 var loc = document.location;
                 var uri = {
                  spec: "http://cos.name/2014/04/lmmandme/",
                  host: "http://cos.name",
                  prePath: "http://cos.name",
                  scheme: "http",
                  pathBase: "http://cos.name/"
                 };
    
                 var documentClone = document.cloneNode(true);
                 var article = new Readability(uri, documentClone).parse();
     
                 document.getElementById("xmain").innerHTML = article.content;
                });
  </script>
  <!-- 1466440246: Accept with keywords: (title(0.2):中国,统计学,服务平台,意,门户网站, topn(0.466666666667):大家,故事,方差,变异,个数,统计学,R语言,显著,卡曼,状态,模型,均值,文章,数据,正态分布,向量,矩阵,滤波,专家,效应,问题,随机,经典,关系,逻辑,分类,暗物质,评论,生物,时候).-->
 </head>
 <body class="single single-post postid-9771 single-format-standard sidebar" onload="">
  <div class="header">
   <div class="container">
    <div class="row">
     <div class="col-xs-6 col-sm-6 text-left">
      <a href="/databee">
       <img src="http://nautidea-10007657.cos.myqcloud.com/logo_white.png"/>
      </a>
      <a href="/databee">
       <p>
        数螺
       </p>
      </a>
     </div>
     <div class="hidden-xs col-sm-6 text-right">
      <p>
       致力于数据科学的推广和知识传播
      </p>
     </div>
    </div>
   </div>
  </div>
  <div class="container text-center">
   <h1>
    YangCan: 昔日因，今日意
   </h1>
  </div>
  <div class="container" id="xmain">
   <div class="hfeed site" id="page">
    <header class="site-header" id="masthead" role="banner">
     <div id="cos-logo">
      <a href="http://cos.name/">
       <img src="http://cos.name/wp-content/themes/COS-kermesinus/images/headers/cos-logo.png"/>
      </a>
     </div>
     <div class="navbar" id="navbar">
      <nav class="navigation main-navigation" id="site-navigation" role="navigation">
       <h3 class="menu-toggle">
        菜单
       </h3>
       <a class="screen-reader-text skip-link" href="http://cos.name/2014/04/lmmandme/#content" title="跳至内容">
        跳至内容
       </a>
       <div class="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95-container">
        <ul class="nav-menu" id="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95">
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-4746" id="menu-item-4746">
          <a href="http://cos.name">
           主页
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-8120" id="menu-item-8120">
          <a href="http://cos.name/cn">
           论坛
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8124" id="menu-item-8124">
            <a href="http://cos.name/cn/wp-login.php?action=register">
             论坛注册
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8125" id="menu-item-8125">
            <a href="http://cos.name/cn/wp-login.php">
             论坛登录
            </a>
           </li>
          </ul>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8110" id="menu-item-8110">
          <a href="http://cos.name/books/">
           图书资料
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8112" id="menu-item-8112">
          <a href="http://cos.name/videos">
           视频教程
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8333" id="menu-item-8333">
          <a href="http://cos.name/salon/">
           统计沙龙
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8111" id="menu-item-8111">
          <a href="http://cos.name/chinar/">
           R语言会议
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8109" id="menu-item-8109">
          <a href="http://cos.name/training/">
           讲座与培训
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8115" id="menu-item-8115">
          <a href="http://cos.name/cn/forum/comprehensive/job/">
           招聘信息
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-4780" id="menu-item-4780">
          <a href="http://cos.name/about">
           关于我们
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8113" id="menu-item-8113">
            <a href="http://cos.name/2008/11/how-to-work-with-cos/">
             加入我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8119" id="menu-item-8119">
            <a href="http://cos.name/donate/">
             赞助我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8114" id="menu-item-8114">
            <a href="http://cos.name/cn/forum/26">
             项目合作
            </a>
           </li>
          </ul>
         </li>
        </ul>
       </div>
       <form action="http://cos.name/" class="search-form" method="get" role="search">
        <label>
         <span class="screen-reader-text">
          搜索：
         </span>
        </label>
       </form>
      </nav>
      <!-- #site-navigation -->
     </div>
     <!-- #navbar -->
    </header>
    <!-- #masthead -->
    <div class="site-main" id="main">
     <div class="content-area" id="primary">
      <div class="site-content" id="content" role="main">
       <article class="post-9771 post type-post status-publish format-standard hentry category-featured category-models category-biostat category-website tag-lmm tag-354 tag-408" id="post-9771">
        <header class="entry-header">
         <h1 class="entry-title">
          昔日因，今日意
         </h1>
         <div class="entry-meta">
          <span class="date">
           <a href="http://cos.name/2014/04/lmmandme/" rel="bookmark" title="链向昔日因，今日意的固定链接">
            <time class="entry-date" datetime="2014-04-19T10:52:10+00:00">
             2014/04/19
            </time>
           </a>
          </span>
          <span class="categories-links">
           <a href="http://cos.name/category/website/featured/" rel="category tag">
            推荐文章
           </a>
           、
           <a href="http://cos.name/category/models/" rel="category tag">
            模型专题
           </a>
           、
           <a href="http://cos.name/category/data/biostat/" rel="category tag">
            生物与医学统计
           </a>
           、
           <a href="http://cos.name/category/website/" rel="category tag">
            统计之都
           </a>
          </span>
          <span class="tags-links">
           <a href="http://cos.name/tag/lmm/" rel="tag">
            LMM
           </a>
           、
           <a href="http://cos.name/tag/%e7%94%9f%e7%89%a9%e7%bb%9f%e8%ae%a1/" rel="tag">
            生物统计
           </a>
           、
           <a href="http://cos.name/tag/%e7%ba%bf%e6%80%a7%e6%a8%a1%e5%9e%8b/" rel="tag">
            线性模型
           </a>
          </span>
          <span class="author vcard">
           <a class="url fn n" href="http://cos.name/author/eeyangc/" rel="author" title="查看所有由eeyangc发布的文章">
            eeyangc
           </a>
          </span>
         </div>
         <!-- .entry-meta -->
        </header>
        <!-- .entry-header -->
        <div class="entry-content">
         <p>
          本文作者杨灿：杨灿于2011年在香港科技大学电子计算机工程系获得博士学位，2011-2012为耶鲁大学生物统计系博士后，现为耶鲁大学副研究员。
         </p>
         <p>
          <em>
           飞帅云：“三十功名尘与土，八千里路云和月。莫等闲，白了少年头，空悲切。”可我在耶鲁两年多了，基本一事无成。既没有像当年那样死磕Lasso和Boosting，也没有能追随Deep Learning 的浪潮。曾经真的以为人生就这样了，平静的心拒绝再有浪潮。斩了千次的情丝却断不了，百转千折她将我围绕。有人问我她究竟是哪里好？我想我是鬼迷心窍。
          </em>
         </p>
         <p>
          <strong>
           1 向来痴
          </strong>
         </p>
         <p>
          她就是LMM，我给她起了一个美丽的中文名:“林妹妹”。
         </p>
         <p>
          对我这种工科男，与林妹妹相知相识，是需要一段奇缘。从在浙大本科自动化专业入学，到港科大的电子系博士快毕业，曾经有且仅有一次机会与她相识，还是被很傻很天真的我错过了。现在不管我怎么念“菠萝菠萝蜜”，时光还是不会倒流的。我只是想，如果上天可以给我一个机会再来一次的话，我会对她说八个字：“我们好像在哪见过？”然而，有缘人终归是有缘人，奇妙的感觉就在点火的那一刹那。
          <span id="more-9771">
          </span>
         </p>
         <p>
          2010年，夏。
         </p>
         <p>
          香港，清水湾。
         </p>
         <p>
          海浪拍打着沙滩，伴随着风的欢笑，涌出蔚蓝的一片。
         </p>
         <p>
          那一天，香港科大来了一位远方的客人，便是我现在耶鲁的老板。在他的演讲中，提到了一个故事。本人平生听了很多故事，但是我认为这个是最精彩的。据一些专家估算，人类身高的差异（统计学上用方差来描述），70%左右由遗传决定。另一批专家利用最新科技做了全基因组扫描，发现了大约100多个遗传变异点与人类身高显著的相关。这批专家就用这些显著的变异点去解释身高的方差时，惊讶地发现它们只能解释5%！从5%到70%，我靠，这中间的差距也太大了吧！“到底哪批专家是砖家，或者都是？”这个问题在我脑子里油然而生。然而以我的智慧，只猜中了开头，却猜不到结尾。林妹妹的出现让剧情峰回路转……
          <!--more-->
         </p>
         <p>
          如今，专家们基本已达成共识：不要只是去关注那些显著的变异点！虽然这些不显著的变异点每一个的作用都比较小，但是他们总的作用却不能忽略！如果把那些不显著变异点的作用一起考虑进去，就能解释身高方差的45%，如果再考虑上那些没有被直接观察到的变异点的影响，就基本上接近70%。如何能把那么多不显著变异点的作用都优雅地考虑进去呢？这里就需要林妹妹了。
         </p>
         <p>
          前面讲的故事是当今生命科学中最重要的课题之一。2009年的时候，科学家们还专门给这个故事起了一个名字–“missing heritability”，用今年流行的语言翻译过来就是“遗传物质都去哪儿了?”身高只是其中一个例子，对很多复杂疾病，比如糖尿病，高血压，精神分裂症等，科学家们也发现类似的情况。这个missing heritability 类似于物理学上的暗物质，感觉它存在却看不到它。林妹妹的出现让我们真实地测量到遗传学中的“暗物质”，并确认它的存在。
         </p>
         <p>
          <strong>
           2 从此醉
          </strong>
         </p>
         <p>
          好了，是时候停止卖萌，进入主题了。LMM全称是Linear Mixed Model(混合线性模型)。她血统高贵，与现代统计学之父Ronald Fisher提出的随机效应一脉相承。上个世纪50 年代，Charles Henderson 为她打造了国际一流的统计性质（BLUE and BLUP），他的学生Shayle Searle 更是为她配上了“黑客帝国(Matrix)” 的装备，从此她的名字将永远记入统计学的史册。1991年，statistical science上有一篇很经典的文章“That BLUP is a Good Thing: The Estimation of Random Effects”，里面谈到了她许多超一流的品质。事实上，我们在实践中已经用到了她的很多好的性质，只不过我们以前不知道罢了。
         </p>
         <p>
          现在从她的一副黑客帝国装备说起，因为这副装备低调奢华有内涵：
         </p>
         <p>
          \begin{equation}
          <br/>
          \begin{aligned}
          <br/>
          \textbf{y}&amp;=\textbf{X}\mathbf{\beta} + \textbf{Zu}+\textbf{e},\\
          <br/>
          \textbf{u}&amp;\sim \mathcal{N}(\mathbf{0},\sigma^2_u\textbf{I}),\\
          <br/>
          \textbf{e}&amp;\sim\mathcal{N}(\mathbf{0},\sigma^2_e\textbf{I})\\
          <br/>
          \end{aligned}
          <br/>
          \end{equation}
          <br/>
          这里$\textbf{y}\in\mathbb{R}^n$是回归问题中的因变量，$\textbf{X}\in\mathbb{R}^{n\times d}$和$\textbf{Z}\in\mathbb{R}^{n\times p}$分别是固定效应和随机效应的设计矩阵，$\textbf{e}\in\mathbb{R}^n$是随机误差，$\mathbf{\beta}\in\mathbb{R}^d$和$\textbf{u}\in\mathbb{R}^p$分别是固定效应向量与随机效应向量，$n,d,p$ 分别是样本数目，固定效应的个数以及随机效应的个数。这里$\textbf{y},\textbf{X},\textbf{Z}$是给定的，需要估计的是$\mathbf{\beta},\textbf{u},\sigma^2_u,\sigma^2_e$。 看到这里，我知道大部分童鞋已经有点晕了：啥叫固定效应，啥叫随机效应？先解释什么叫随机效应。 我相信大家都理解随机数，简单点说，他们就是从某一个分布里面随机抽出来的数，这些数不是固定的，但是他们总体上服从某种规律（即某种分布），比如服从正态分布。之所以用“随机效应”而不是用“随机数”，是为了描述设计矩阵的每一列所对应的变量对因变量$\textbf{y}$的作用，比如在上述模型中的$\textbf{u}$ 是一个$p$ 维的向量，它的每个元素即$u_j,j=1,\dots,p$都来自于正态分布$\mathcal{N}(0,\sigma^2_u)$，$u_j$即是$\textbf{Z}$的第$j$列对$\textbf{y}$ 的效应。现在来解释啥叫固定效应，一句话，固定效应就是非随机效应。当固定效应与随机效应在一起的时候，就是所谓的mixed model。 注意千万不要把mixed model与mixture model 混为一谈！因为前者是被动在一起的，后者则是主动在一起的，想分都分不开。
         </p>
         <p>
          既然是被动在一起，把二者拆开就比较容易。如果只看固定效应那一部分，
          <br/>
          \begin{equation}\label{ols}
          <br/>
          \textbf{y}=\textbf{X}\mathbf{\beta} +\textbf{e},\quad\textbf{e}\sim\mathcal{N}(\mathbf{0},\sigma^2_e\textbf{I}),
          <br/>
          \end{equation}
          <br/>
          这就是最基本的多元线性回归，$\mathbf{\beta}$的最优解由最小二乘法(Least square)给出，即$\hat{\mathbf{\beta}}_{LS}$，它的统计性质由高斯马尔科夫定理(Gauss–Markov Theorem)保证，比如$\hat{\mathbf{\beta}}_{LS}$是所有无偏估计中方差最小的。如果只看随机效应那一部分，
          <br/>
          \begin{equation}\label{ridge}
          <br/>
          \begin{aligned}
          <br/>
          \textbf{y}&amp;= \textbf{Zu}+\textbf{e},\\
          <br/>
          \textbf{u}&amp;\sim \mathcal{N}(\mathbf{0},\sigma^2_u\textbf{I}),\\
          <br/>
          \textbf{e}&amp;\sim\mathcal{N}(\mathbf{0},\sigma^2_e\textbf{I}),
          <br/>
          \end{aligned}
          <br/>
          \end{equation}
          <br/>
          相信大家对上式也不会陌生。比如，看过Pattern recognition and machine learning (by Bishop, C.)的第三章Linear Models for Regression的童鞋应该会发现：当$\lambda=\frac{\sigma^2_e}{\sigma^2_u}$时，求解上式与下式得到的解则是完全等价。
          <br/>
          \begin{equation}\label{ridge2}
          <br/>
          \min_{\textbf{u}}\|\textbf{y}-\textbf{Z}\textbf{u}\|^2+\lambda\|\textbf{u}\|^2,
          <br/>
          \end{equation}
          <br/>
          不同的是，这里的$\lambda$通常由交叉验证确定，而估计前面式子中的参数($\sigma^2_u$与$\sigma^2_e$)则另有办法。在机器学习中，大家把它叫做Evidence approximation，统计学里面把它叫经验贝叶斯(
          <a href="http://en.wikipedia.org/wiki/Empirical_Bayes_method" target="_blank">
           Empirical Bayes
          </a>
          )。
         </p>
         <p>
          现在可以再把二者合在一起了，但这里涉及到一个重要的问题。举一个简单的例子，有$n$个数据点$(x_1,x_2,\dots,x_n)$，每个数据点$x_i\in \mathbb{R}$ 都独立地来自$\mathcal{N}(\mu,\sigma^2)$。对$\sigma^2$的最大似然估计是$\tilde{\sigma}^2=\sum_i(x_i-\bar{x})^2/n$，这里$\bar{x}=\sum_i x_i/n$是均值。但是，正如大家所知道的，对$\sigma^2$的无偏估计应该是$\hat{\sigma}^2=\sum_i(x_i-\bar{x})^2/(n-1)$，因为在估计均值的时候已经消耗掉一个数据了。为了补偿在有若干个固定效应情况下对方差估计的偏差，有一个办法应运而生，它的名字叫
          <a href="http://en.wikipedia.org/wiki/Restricted_maximum_likelihood" target="_blank">
           REML
          </a>
          (REstricted Maximum Likelihood，约束极大似然)。
         </p>
         <p>
          前面提到的探索遗传学中的暗物质是对LMM一次高端大气上档次的运用。遗传的变异会引起身高的差异，那么身高有多大程度上是由遗传因素决定的？翻译成统计学语言：用遗传变异点数据究竟能解释身高方差的百分之多少？回过头来再看，$\textbf{y}$中是$n$ 个样本($\sim5000$) 的身高数据，$\textbf{X}$ 的每一列对应一个协变量，比如年龄、性别，基因组变异点的数据都放到$\textbf{Z}$中，其中每一列对应一个变异点的数据。为了写出$\textbf{y}$的边际分布，需要对$\textbf{u}$和$\textbf{e}$积分，
          <br/>
          \begin{equation}\label{}
          <br/>
          \textbf{y}\sim\mathcal{N}(\textbf{X}\mathbf{\beta},\textbf{ZZ}^T \sigma^2_u + \sigma^2_e \textbf{I}).
          <br/>
          \end{equation}
          <br/>
          注意$\textbf{X}\mathbf{\beta}$并不影响$\textbf{y}$的方差。Heritability定义为：
         </p>
         <p>
          \begin{equation}
          <br/>
          h^2=\frac{p{\sigma}^2_u}{p{\sigma}^2_u+{\sigma}^2_e},
          <br/>
          \end{equation}
          <br/>
          这里$p\sigma^2_u$是遗传因素解释的方差（$p$是变异点个数，大约是50万到100万这个范围），$\sigma^2_e$是非遗传因素造成的方差。启动REML 以后，就能得到($\hat{\sigma}^2_u,\hat{\sigma}^2_e$)，然后算出heritability。
         </p>
         <p>
          <strong>
           3 水榭听香，指点群豪戏
          </strong>
         </p>
         <p>
          “脚步不能达到的地方，眼光可以到达。”抬望眼，满城尽是LMM，如下图所示。由于篇幅所限，我只能简单地介绍一部分。
         </p>
         <p>
          <a href="http://cos.name/wp-content/uploads/2014/04/LMM-all2.png">
           <img src="http://cos.name/wp-content/uploads/2014/04/LMM-all2.png"/>
          </a>
         </p>
         <p style="text-align: center;">
          <strong>
           LMM与很多经典方法的关系图
          </strong>
         </p>
         <p>
          第一，LMM与JSE-Ridge Regression的关系最为明显。当没有固定效应，$\textbf{Z}$变为单位矩阵的时候，LMM就变为了JSE（这个时候需要$\sigma^2_e$ 是已知的，不然会有可辨识性的问题。在JSE(James-Stein Estimator)的问题中，$\sigma^2_e=1$，更详细的描述请参考我的《
          <a href="http://cos.name/2012/05/chase-after-eb/" target="_blank">
           那些年我们一起追的EB
          </a>
          》）。LMM与Ridge 的关系，前面已经讲过了。
         </p>
         <p>
          第二，
          <a href="http://en.wikipedia.org/wiki/Relevance_vector_machine" target="_blank">
           RVM
          </a>
          (relevance vector machine)如下：
         </p>
         <p>
          \begin{equation}
          <br/>
          \begin{aligned}
          <br/>
          \textbf{y}&amp;= \sum_j \textbf{Z}_j u_j+\textbf{e},\\
          <br/>
          u_j&amp;\sim \mathcal{N}(0,\sigma^2_{u_j}),\\
          <br/>
          \textbf{e}&amp;\sim\mathcal{N}(\mathbf{0},\sigma^2_e\textbf{I}),
          <br/>
          \end{aligned}
          <br/>
          \end{equation}
         </p>
         <p>
          RVM与LMM的差别是：RVM允许每个随机效应$u_j$有自己的方差$\sigma^2_{u_j}$，而LMM中所有的随机效应(random effects)具有同样的$\sigma^2_u$。 从RVM 到Lasso(Least Absolute Shrinkage and Selection Operator)，只需要假设$\{\sigma^2_{u_j}\}$来自指数分布，详情参见Bayesian Lasso。Lasso，LARS和Boosting已经成为统计学与计算科学史上的一段佳话，最好的文献当然是Efron教授的Least Angle Regression，喜欢看故事的童鞋可以看我的《
          <a href="http://cos.name/2011/12/stories-about-statistical-learning/" target="_blank">
           统计学习那些事
          </a>
          》。
         </p>
         <p>
          第三，LMM与PCA(
          <a href="http://en.wikipedia.org/wiki/Principal_component_analysis" target="_blank">
           Principal Component Analysis
          </a>
          )的联系似乎不是那么直接，因为这里已经从监督学习走向了非监督学习。然而，当PCA被赋予概率的解释后，天堑变通途。这篇里程碑式的文章就是Probabilistic principal component analysis by Tipping and Bishop。PCA与clustering的亲密关系暴露在本世纪初，clustering和mixture models的关系嘛，应该是不言而喻的。
         </p>
         <p>
          第四，大家都知道，Mixture models里面是有一个隐状态，比如在做clustering的时候，这个隐状态就用来表明数据点与cluster的隶属关系。当这些隐状态不再是独立等分布的时候，比如，后一个状态取决于前一个状态的时候，HMM便应运而生。HMM与
          <a href="http://en.wikipedia.org/wiki/Kalman_filter" target="_blank">
           卡曼滤波
          </a>
          (Kalman filter)基本上可以看做孪生兄弟，一个为离散状态而生，一个为连续状态而来。LMM与卡曼滤波的关系在“BLUP is a good thing”这篇雄文中早有讨论。当年学控制的我与卡曼滤波有过初步接触，但是却与LMM 失之交臂，还好在耶鲁与LMM再续前缘。
         </p>
         <p>
          第五，如今的Matrix factorization已经是令人眼花缭乱了，因为这里加入了很多sparse(包括low-rank)与smoothing的技术。但不可否认，PCA依然是矩阵分解中最重要的一种，奇异值分解依然是这里最重要的数学基石。
         </p>
         <p>
          面对如此波澜壮阔的模型表演，不知道大家会如何感想？这里我先引用Terry Speed在“BLUP is a good thing”的评论里的最后一段话：“In closing these few remarks, I cannot resist paraphrasing I.J. Good’s memorable aphorism: `To a Bayesian, all things are Bayesian.’ How does `To a non-Bayesian, all things are BLUPs’ sound as a summary of this fine paper?” 大师的话值得久久回味……我自己总结的话，来点通俗易懂的，还是这句“天下武功，若说邪的，那是各有各的邪法，若说正的，则都有一种‘天下武功出少林’的感觉”。
         </p>
         <p>
          <strong>
           4 杏子林中，商略平生義
          </strong>
         </p>
         <p>
          “眼光不能到达的地方，精神可以飞到。”
         </p>
         <p>
          “随机还是非随机？”是一个问题，甚至是一个哲学问题。或许，我们参一生也参不透这道难题。爱因斯坦说:“上帝不玩骰子。”然而，麦克斯韦却说：“这个世界真正的逻辑就是概率的计算。” 电影《美丽心灵》的纳什也在追问“到底什么才是真正的逻辑”。最后他在获得诺奖时说：“ 我一直以来都坚信数字，不管是方程还是逻辑都引导我们去思考。但是在如此追求了一生后，我问自己：‘逻辑到底是什么？谁决定原由？’我的探索让我从形而下到形而上，最后到了妄想症，就这样来回走了一趟。在事业上我有了重大突破，在生命中我也找到了最重要的人：只有在这种神秘的爱情方程中，才能找到逻辑或原由来。”这是我听到的最美的答案。
         </p>
         <p style="text-align: left;">
          如果回到工程实践的话，或许我们应该追问：“为什么引入随机效应后会有如此神奇的疗效？”Efron教授在他的一篇文章中称赞James-Stein Estimator：“This is the single most striking result of post-World War II statistical theory”。 我想，我们应该可以从JSE 中寻找到一些蛛丝马迹。JSE的原问题是：现已观察到$N$个$z$值，即$[z_1,z_2,\dots,z_N]$，还知道$z_i$
          <strong>
           独立地
          </strong>
          来自以$\mu_i$为均值，方差为1的正态分布，即$z_i|\mu_i \sim \mathcal{N}(\mu_i,1)$, $i=1,2,\dots,N$.问题是：如何从观察到的$\mathbf{z}=[z_1,z_2,\dots,z_N]$估计$\boldsymbol{\mu}=[\mu_1,\mu_2,\dots,\mu_N]$？最大似然法和James-Stein Estimator给出解答分别是（更多细节参考《
          <a href="http://cos.name/2012/05/chase-after-eb/" target="_blank">
           那些年，我们一起追的EB
          </a>
          》）：
         </p>
         <p>
          \begin{equation}
          <br/>
          \hat{\mathbf{\mu}}_{ML} = \textbf{z},\quad\hat{\mathbf{\mu}}_{JS} = \left( 1- \frac{N-2}{||\mathbf{z}||^2}\right)\mathbf{z}.
          <br/>
          \end{equation}
          <br/>
          对JSE的理解有很多不同的角度，个人觉得从下面的这个角度看过去是非常精彩的。如果我们把$\mu_i,i=1,\dots,N$看做是随机，那么我们可以认为他们来自某一个分布$\mathcal{G}(\mu)$，随着$N$的增大，我们对$\mathcal{G}(\mu)$ 的估计就会越准确。原来看似独立的$z_i$却能通过这样一个分层结构（见下图）来共享信息。虽然$N$很小的时候，$\mathcal{G}(\mu)$是没法估计准确的，但幸运的是，这里的$N$并不要求太大。可以证明，只要$N\geq3$，JSE就比MLE好。这就是Efron教授所说的“learning from others”。如果用更加数学的语言来刻画信息共享，其实就是Bias-Variance trade-off。当信息共享的时候，偏差增加了少许但方差却大大降低。
         </p>
         <p>
          <a href="http://cos.name/wp-content/uploads/2014/04/JSnew2.png">
           <img src="http://cos.name/wp-content/uploads/2014/04/JSnew2.png"/>
          </a>
         </p>
         <p>
          <strong>
           5 须倾英雄泪
          </strong>
         </p>
         <p>
          James Watson在他的《双螺旋》一书的序言中写道：“科学的发现很少会像门外汉所想像的那样，按照直截了当、合乎逻辑的方式进行。事实上，科学的进步（有时是倒退）往往是人为事件。在这些事件中，人性以及文化传统都起着巨大的作用。”
         </p>
         <p>
          “庾信平生最萧瑟，暮年诗赋动江关。”这是张益唐教授为“孪生素数猜想”作出巨大贡献后接受采访时引用的诗句。听罢，令人感慨万千。
         </p>
         <p>
          昔时因。
         </p>
         <p>
          今日意。
         </p>
         <p>
          “胡汉恩仇”，须倾英雄泪。
         </p>
         <p>
          <strong>
           最后附上本文的pdf原稿供下载：
          </strong>
          <a href="http://cos.name/wp-content/uploads/2014/04/LMM_Yale.pdf">
           LMM_Yale
          </a>
         </p>
         <p>
         </p>
         <div class="wumii-hook">
          <br/>
          <br/>
         </div>
        </div>
        <!-- .entry-content -->
        <footer class="entry-meta">
        </footer>
        <!-- .entry-meta -->
       </article>
       <!-- #post -->
       <nav class="navigation post-navigation" role="navigation">
        <h1 class="screen-reader-text">
         文章导航
        </h1>
        <div class="nav-links">
         <a href="http://cos.name/2014/04/search-rescue-plane-statistical-data-analysis/" rel="prev">
          <span class="meta-nav">
           ←
          </span>
          失联搜救中的统计数据分析
         </a>
         <a href="http://cos.name/2014/04/use-pipeline-operators-in-r/" rel="next">
          在R中使用管道操作
          <span class="meta-nav">
           →
          </span>
         </a>
        </div>
        <!-- .nav-links -->
       </nav>
       <!-- .navigation -->
       <div class="comments-area" id="comments">
        <h2 class="comments-title">
         《
         <span>
          昔日因，今日意
         </span>
         》有23个想法
        </h2>
        <ol class="comment-list">
         <li class="comment even thread-even depth-1" id="comment-5554">
          <article class="comment-body" id="div-comment-5554">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/pumcdc" rel="external nofollow">
               webgu
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5554">
              <time datetime="2014-04-22T09:18:48+00:00">
               2014/04/22 09:18
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             我勒个去，文艺到了极致。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给webgu" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5554#respond" onclick='return addComment.moveForm( "div-comment-5554", "5554", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5555">
          <article class="comment-body" id="div-comment-5555">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/aquabreeding" rel="external nofollow">
               随风飘扬
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5555">
              <time datetime="2014-04-22T10:04:34+00:00">
               2014/04/22 10:04
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             楼主说得是数量遗传学的经典内容，已在畜牧和水产金武广泛应用。经典的软件周asreml , dmu。r 中混合效应模型的包很多，知道的经典的有lme4。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给随风飘扬" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5555#respond" onclick='return addComment.moveForm( "div-comment-5555", "5555", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5557">
          <article class="comment-body" id="div-comment-5557">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/thewinteriscoming" rel="external nofollow">
               hachikoopenres
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5557">
              <time datetime="2014-04-22T12:22:52+00:00">
               2014/04/22 12:22
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             顶！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给hachikoopenres" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5557#respond" onclick='return addComment.moveForm( "div-comment-5557", "5557", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1 parent" id="comment-5558">
          <article class="comment-body" id="div-comment-5558">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/xie1978" rel="external nofollow">
               真正的圈总
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5558">
              <time datetime="2014-04-22T12:25:55+00:00">
               2014/04/22 12:25
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             如果再跟实验设计和精算里面的Buhlmann-Straub Credibility Theory 联系起来就更棒了。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给真正的圈总" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5558#respond" onclick='return addComment.moveForm( "div-comment-5558", "5558", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor even depth-2" id="comment-5564">
            <article class="comment-body" id="div-comment-5564">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2014/04/lmmandme/#comment-5564">
                <time datetime="2014-04-22T21:42:23+00:00">
                 2014/04/22 21:42
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               非常帅的点评！
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5564#respond" onclick='return addComment.moveForm( "div-comment-5564", "5564", "respond", "9771" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1 parent" id="comment-5562">
          <article class="comment-body" id="div-comment-5562">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/436174399b7aaeb22c666bc623015a5c?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.puddingnnn.com/" rel="external nofollow">
               布丁Nnn
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5562">
              <time datetime="2014-04-22T18:46:20+00:00">
               2014/04/22 18:46
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             "注意Xbeta并不影响y的方差" 这里的公式似乎编辑错了
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给布丁Nnn" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5562#respond" onclick='return addComment.moveForm( "div-comment-5562", "5562", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor even depth-2" id="comment-5565">
            <article class="comment-body" id="div-comment-5565">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2014/04/lmmandme/#comment-5565">
                <time datetime="2014-04-22T21:50:35+00:00">
                 2014/04/22 21:50
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               已更正。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5565#respond" onclick='return addComment.moveForm( "div-comment-5565", "5565", "respond", "9771" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5595">
          <article class="comment-body" id="div-comment-5595">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/52e8cf28501e5db5d9934a5b97d66fc5?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              czq
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5595">
              <time datetime="2014-04-25T11:54:13+00:00">
               2014/04/25 11:54
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             大赞杨灿一如既往的好文！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给czq" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5595#respond" onclick='return addComment.moveForm( "div-comment-5595", "5595", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5601">
          <article class="comment-body" id="div-comment-5601">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/yida" rel="external nofollow">
               hbyido
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5601">
              <time datetime="2014-04-26T20:43:34+00:00">
               2014/04/26 20:43
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             @保存到为知笔记
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给hbyido" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5601#respond" onclick='return addComment.moveForm( "div-comment-5601", "5601", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1 parent" id="comment-5625">
          <article class="comment-body" id="div-comment-5625">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/yufreecas" rel="external nofollow">
               散人yufree
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5625">
              <time datetime="2014-04-30T21:24:24+00:00">
               2014/04/30 21:24
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             前几天看到R生态学邮件列表上有人问到LMM，大意是误差项不是正态分布又想用LMM（理由一大堆）怎么办，我也很好奇，想请教楼主有什么建议。参见
             <a href="http://r-sig-ecology.471788.n2.nabble.com/error-distribution-or-transformation-for-Acid-neutralizing-capacity-ANC-td7578839.html" rel="nofollow">
              http://r-sig-ecology.471788.n2.nabble.com/error-distribution-or-transformation-for-Acid-neutralizing-capacity-ANC-td7578839.html
             </a>
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给散人yufree" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5625#respond" onclick='return addComment.moveForm( "div-comment-5625", "5625", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor even depth-2 parent" id="comment-5678">
            <article class="comment-body" id="div-comment-5678">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2014/04/lmmandme/#comment-5678">
                <time datetime="2014-05-07T01:19:26+00:00">
                 2014/05/07 01:19
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               我没有接触过生态学方面的数据。但就Genomics 的数据来看，比如Case-Control，response 是0-1的情况，LMM(Gaussian)是可以直接使用的，只要样本量比较大，比如&gt;2000。如果是heave tail，通常需要做一些预处理，然后用LMM。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5678#respond" onclick='return addComment.moveForm( "div-comment-5678", "5678", "respond", "9771" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment odd alt depth-3" id="comment-5681">
              <article class="comment-body" id="div-comment-5681">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  <a class="url" href="http://weibo.com/yufreecas" rel="external nofollow">
                   散人yufree
                  </a>
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2014/04/lmmandme/#comment-5681">
                  <time datetime="2014-05-08T09:59:33+00:00">
                   2014/05/08 09:59
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 谢谢！
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5669">
          <article class="comment-body" id="div-comment-5669">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/34e0143fb09d6f1a82876586307be50c?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              shuai huang
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5669">
              <time datetime="2014-05-06T11:15:12+00:00">
               2014/05/06 11:15
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             好文。统计模型的妙处常常来源于在一个什么层面上去看待同样一组数据。在想要什么，和实际收集的是什么，以及最终能够得到的是什么之间，存在很大的想象空间。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给shuai huang" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5669#respond" onclick='return addComment.moveForm( "div-comment-5669", "5669", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5688">
          <article class="comment-body" id="div-comment-5688">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/zongying-cao" rel="external nofollow">
               零点零壹
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5688">
              <time datetime="2014-05-11T12:33:41+00:00">
               2014/05/11 12:33
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             昔日因，今日意
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给零点零壹" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5688#respond" onclick='return addComment.moveForm( "div-comment-5688", "5688", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5768">
          <article class="comment-body" id="div-comment-5768">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/9026b0c9030aad68306b508c75406730?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              Kunwei
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5768">
              <time datetime="2014-05-25T10:57:40+00:00">
               2014/05/25 10:57
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             写得好，赞一个！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Kunwei" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5768#respond" onclick='return addComment.moveForm( "div-comment-5768", "5768", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1 parent" id="comment-5854">
          <article class="comment-body" id="div-comment-5854">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              一直低调的帅
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-5854">
              <time datetime="2014-06-08T13:45:58+00:00">
               2014/06/08 13:45
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             我是从《统计学习那些事》认识GBDT的，发现它真的是一个很好的算法，于是我很兴奋的把它运用到自己实验的特征分类上，但是效果真的很不理想，只有不到80%的准确度，无法与随机森林相比较，是因为我使用OpenCV实现的么？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给一直低调的帅" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5854#respond" onclick='return addComment.moveForm( "div-comment-5854", "5854", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor even depth-2 parent" id="comment-5864">
            <article class="comment-body" id="div-comment-5864">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2014/04/lmmandme/#comment-5864">
                <time datetime="2014-06-10T01:24:27+00:00">
                 2014/06/10 01:24
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               我没有用过OpenCV的实现，我个人喜欢GBM R package。当然Random Forest也是非常好的，也有R package RandomForest。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=5864#respond" onclick='return addComment.moveForm( "div-comment-5864", "5864", "respond", "9771" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment odd alt depth-3 parent" id="comment-5874">
              <article class="comment-body" id="div-comment-5874">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  一直低调的帅
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2014/04/lmmandme/#comment-5874">
                  <time datetime="2014-06-11T09:41:16+00:00">
                   2014/06/11 09:41
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 我想请教一下，当然不同特征集会造成分类差异，但大多数情况下，是不是GBDT在二元或多元分类问题上，分类准确率要比Random Forest要好呢？PS:拜读您的文章，从字里行间中感受到您对所从事工作的热爱，很受震撼和教育，真的让我对自己未来的工作和人生思考很多
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
             <li class="comment byuser comment-author-eeyangc bypostauthor even depth-3" id="comment-5885">
              <article class="comment-body" id="div-comment-5885">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  eeyangc
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2014/04/lmmandme/#comment-5885">
                  <time datetime="2014-06-13T07:25:17+00:00">
                   2014/06/13 07:25
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 我个人觉得GB和RF效果实际上差不多，二者的主要想法互不相同却又互相联系，参见Friedman, J. H. and Popescu, B. E. "Importance Sampled Learning Ensembles." (Sept. 2003)。Re PS: 还是引用那句话吧：“你不觉得天边.的晚霞很美吗？只有看着她，我才能坚持向西走。”
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6202">
          <article class="comment-body" id="div-comment-6202">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/2709629513" rel="external nofollow">
               跃进连
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-6202">
              <time datetime="2014-09-04T17:22:39+00:00">
               2014/09/04 17:22
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             看的醉了
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给跃进连" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=6202#respond" onclick='return addComment.moveForm( "div-comment-6202", "6202", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-6223">
          <article class="comment-body" id="div-comment-6223">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/1733473671" rel="external nofollow">
               wenbao84
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-6223">
              <time datetime="2014-09-23T16:13:12+00:00">
               2014/09/23 16:13
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             这文笔，不搞文学可惜了~~
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给wenbao84" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=6223#respond" onclick='return addComment.moveForm( "div-comment-6223", "6223", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-6687">
          <article class="comment-body" id="div-comment-6687">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/e9edab958348b68bb922dfe4242165eb?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              studentht
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-6687">
              <time datetime="2015-04-26T19:59:41+00:00">
               2015/04/26 19:59
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             文艺，喜欢
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给studentht" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=6687#respond" onclick='return addComment.moveForm( "div-comment-6687", "6687", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-6754">
          <article class="comment-body" id="div-comment-6754">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/88c320043d0f5601d10704f6915796da?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              零四五妖
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2014/04/lmmandme/#comment-6754">
              <time datetime="2015-06-28T21:13:15+00:00">
               2015/06/28 21:13
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             膜拜大神，作为生物统计和计算基因组学新生，学到很多既扎实又很文艺的知识，谢谢大师。
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给零四五妖" class="comment-reply-link" href="http://cos.name/2014/04/lmmandme/?replytocom=6754#respond" onclick='return addComment.moveForm( "div-comment-6754", "6754", "respond", "9771" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
        </ol>
        <!-- .comment-list -->
        <div class="comment-respond" id="respond">
         <h3 class="comment-reply-title" id="reply-title">
          发表评论
          <small>
           <a href="http://cos.name/2014/04/lmmandme/#respond" id="cancel-comment-reply-link" rel="nofollow" style="display:none;">
            取消回复
           </a>
          </small>
         </h3>
         <form action="http://cos.name/wp-comments-post.php" class="comment-form" id="commentform" method="post" novalidate="">
          <p class="comment-notes">
           <span id="email-notes">
            电子邮件地址不会被公开。
           </span>
           必填项已用
           <span class="required">
            *
           </span>
           标注
          </p>
          <p class="comment-form-comment">
           <label for="comment">
            评论
           </label>
           <textarea aria-required="true" cols="45" id="comment" maxlength="65525" name="comment" required="required" rows="8">
           </textarea>
          </p>
          <p class="comment-form-author">
           <label for="author">
            姓名
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-email">
           <label for="email">
            电子邮件
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-url">
           <label for="url">
            站点
           </label>
          </p>
          <p class="form-submit">
          </p>
          <p style="display: none;">
          </p>
          <p style="display: none;">
          </p>
         </form>
        </div>
        <!-- #respond -->
       </div>
       <!-- #comments -->
      </div>
      <!-- #content -->
     </div>
     <!-- #primary -->
     <div class="sidebar-container" id="tertiary" role="complementary">
      <div class="sidebar-inner">
       <div class="widget-area">
        <aside class="widget widget_text" id="text-3">
         <h3 class="widget-title">
          关注统计之都
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            新浪微博
            <a href="http://weibo.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            人人网
            <a href="http://renren.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            Twitter
            <a href="http://twitter.com/cos_name">
             @cos_name
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-6">
         <h3 class="widget-title">
          微信公众平台
         </h3>
         <div class="textwidget">
          <img src="http://cos.name/wp-content/uploads/2013/04/qrcode-8cm.jpg"/>
          <p style="font-size:12px;margin-left:15px">
           微信号 CapStat
          </p>
          <p>
           我们将第一时间向您推送主站和论坛的精彩内容，以及统计之都的线下活动、竞赛、培训和会议信息。
          </p>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-8">
         <h3 class="widget-title">
          站内导航
         </h3>
         <div class="textwidget">
          <ul>
           <li class="page_item">
            <a href="http://cos.name/cn/">
             中文论坛
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/videos/">
             视频
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/salon/">
             统计沙龙
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/books/">
             图书出版
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/training/">
             教育培训
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/about/">
             关于我们
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/donate/">
             捐赠
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/chinar/">
             R语言会议
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_links" id="linkcat-2">
         <h3 class="widget-title">
          友情链接
         </h3>
         <ul class="xoxo blogroll">
          <li>
           <a href="http://stat.ruc.edu.cn" target="_blank" title="中国人民大学统计学院网站">
            中国人民大学统计学院
           </a>
          </li>
          <li>
           <a href="http://rucdmc.net">
            中国人民大学数据挖掘中心
           </a>
          </li>
          <li>
           <a href="http://birc.gsm.pku.edu.cn/" target="_blank">
            北京大学商务智能研究中心
           </a>
          </li>
          <li>
           <a href="http://sam.cufe.edu.cn/" target="_blank" title="中央财经大学统计与数学学院网站">
            中央财经大学统计与数学学院
           </a>
          </li>
          <li>
           <a href="http://tjx.cueb.edu.cn/" target="_blank" title="首都经济贸易大学统计学院网站">
            首经贸统计学院
           </a>
          </li>
          <li>
           <a href="http://www.shookr.com/">
            数客网大数据社区
           </a>
          </li>
          <li>
           <a href="http://www.xueqing.tv/" target="_blank" title="数据科学在线学习平台">
            雪晴数据网
           </a>
          </li>
          <li>
           <a href="http://iera.name/" target="_blank" title="IERA是一个旨在普及、传播和增进工业工程知识的非营利性网站">
            IERA（直通IE）
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_categories" id="categories-2">
         <h3 class="widget-title">
          全部分类
         </h3>
         <label class="screen-reader-text" for="cat">
          全部分类
         </label>
         <select class="postform" id="cat" name="cat">
          <option value="-1">
           选择分类目录
          </option>
          <option class="level-0" value="925">
           cos访谈  (4)
          </option>
          <option class="level-0" value="659">
           图书出版  (5)
          </option>
          <option class="level-0" value="379">
           数学方法  (14)
          </option>
          <option class="level-1" value="381">
           分析与代数  (1)
          </option>
          <option class="level-1" value="380">
           概率论  (9)
          </option>
          <option class="level-1" value="382">
           随机过程  (5)
          </option>
          <option class="level-0" value="210">
           数据分析  (81)
          </option>
          <option class="level-1" value="203">
           多元统计  (3)
          </option>
          <option class="level-1" value="42">
           数据挖掘与机器学习  (42)
          </option>
          <option class="level-1" value="36">
           生物与医学统计  (17)
          </option>
          <option class="level-1" value="35">
           计量经济学  (4)
          </option>
          <option class="level-1" value="296">
           金融统计  (3)
          </option>
          <option class="level-1" value="303">
           风险精算  (7)
          </option>
          <option class="level-0" value="177">
           模型专题  (15)
          </option>
          <option class="level-1" value="38">
           回归分析  (10)
          </option>
          <option class="level-1" value="41">
           时间序列  (2)
          </option>
          <option class="level-0" value="784">
           每周精选  (24)
          </option>
          <option class="level-1" value="183">
           可视化  (9)
          </option>
          <option class="level-0" value="967">
           沙龙纪要  (3)
          </option>
          <option class="level-0" value="18">
           经典理论  (46)
          </option>
          <option class="level-1" value="37">
           抽样调查  (3)
          </option>
          <option class="level-1" value="4">
           统计推断  (26)
          </option>
          <option class="level-1" value="236">
           试验设计  (7)
          </option>
          <option class="level-1" value="39">
           非参数统计  (3)
          </option>
          <option class="level-0" value="1">
           统计之都  (279)
          </option>
          <option class="level-1" value="884">
           中国R会议  (2)
          </option>
          <option class="level-1" value="885">
           中国R语言会议  (5)
          </option>
          <option class="level-1" value="446">
           出国留学  (3)
          </option>
          <option class="level-1" value="179">
           推荐文章  (90)
          </option>
          <option class="level-1" value="3">
           新闻通知  (75)
          </option>
          <option class="level-1" value="263">
           统计刊物  (10)
          </option>
          <option class="level-1" value="174">
           网站导读  (40)
          </option>
          <option class="level-1" value="204">
           职业事业  (51)
          </option>
          <option class="level-1" value="213">
           高校课堂  (9)
          </option>
          <option class="level-0" value="178">
           统计计算  (28)
          </option>
          <option class="level-1" value="40">
           优化与模拟  (15)
          </option>
          <option class="level-1" value="43">
           贝叶斯方法  (6)
          </option>
          <option class="level-0" value="378">
           软件应用  (116)
          </option>
          <option class="level-1" value="44">
           统计图形  (36)
          </option>
          <option class="level-1" value="110">
           统计软件  (83)
          </option>
         </select>
        </aside>
        <aside class="widget widget_recent_comments" id="recent-comments-2">
         <h3 class="widget-title">
          最新评论
         </h3>
         <ul id="recentcomments">
          <li class="recentcomments">
           <span class="comment-author-link">
            fineboom
           </span>
           发表在《
           <a href="http://cos.name/2016/06/use-shiny-fleetly-set-up-visual-prototype-system/#comment-7317">
            利用shiny包快速搭建可视化原型系统
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            胡家新
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7316">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://www.zijiacha.com/category.php?id=6" rel="external nofollow">
             南糯山普洱茶
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7315">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            J
           </span>
           发表在《
           <a href="http://cos.name/2016/05/value-of-the-reputation-from-the-data/#comment-7314">
            数据告诉你：高信誉的卖家应该收高价，还是收低价？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://gg" rel="external nofollow">
             Hilda
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2013/01/drawing-map-in-r-era/#comment-7311">
            R时代，你要怎样画地图？
           </a>
           》
          </li>
         </ul>
        </aside>
        <aside class="widget widget_rss" id="rss-282869971">
         <h3 class="widget-title">
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           <img src="http://cos.name/wp-includes/images/rss.png"/>
          </a>
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           中文论坛新帖
          </a>
         </h3>
         <ul>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417372/">
            处理时间数据和产生时间序列的问题
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/6790/">
            《统计陷阱》下载 （How to lie with statistics）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/818/">
            统计学的世界（第五版）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/16574/">
            class(x) 返回值值是AsIs,AsIs代表什么，有什么用处？
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417366/">
            如何用R绘制一个分类算法的决策规则
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_text" id="text-2">
         <h3 class="widget-title">
          登录/RSS
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            <a href="http://cos.name/wp-admin/">
             登录
            </a>
           </li>
           <li>
            <a href="http://cos.name/feed/" title="使用 RSS 2.0 同步站点内容">
             文章
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
           <li>
            <a href="http://cos.name/comments/feed/" title="RSS 上的最近评论">
             评论
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
          </ul>
         </div>
        </aside>
       </div>
       <!-- .widget-area -->
      </div>
      <!-- .sidebar-inner -->
     </div>
     <!-- #tertiary -->
    </div>
    <!-- #main -->
    <footer class="site-footer" id="colophon" role="contentinfo">
     <div class="site-info">
      版权所有 © 2014 统计之都 | 由
      <a href="http://wordpress.org/">
       WordPress
      </a>
      构建 | 主题修改自
      <a href="http://wordpress.org/themes/twentythirteen">
       Twenty Thirteen
      </a>
     </div>
     <!-- .site-info -->
    </footer>
    <!-- #colophon -->
   </div>
   <!-- #page -->
   <p style="margin:0;padding:0;height:1px;overflow:hidden;">
    <a href="http://www.wumii.com/widget/relatedItems" style="border:0;">
     <img src="http://static.wumii.cn/images/pixel.png"/>
    </a>
   </p>
  </div>
 </body>
</html>